Beyond Generative Decoding: Discriminative Hidden-State Readout from a Native Omni-Modal LLM for Multimodal Sentiment Analysis
基于原生全模态LLM的判别式隐藏状态读出用于多模态情感分析
🧭 判别式读出 · 多模态情感回归 ★ 深度解读
School of Computer Sciences, Universiti Sains Malaysia
用判别式隐藏状态回归替代生成式解码，在连续情感分析中精度更高、更可靠、推理更快
📌 工作参考价值（4 点）
- 连续值输出的LLM应用首选判别式头：当需要预测连续值（评分、概率、强度）时，不要用生成字符串再解析，直接从最后一token隐藏状态接轻量MLP回归，避免格式错误和精度损失，同时大幅降低推理延迟。
- QLoRA + 动态帧采样降低多模态LLM硬件门槛：在单张32GB消费显卡上跑通7B全模态模型，LoRA rank=32，仅训练1.14%参数，该配方可直接迁移到电商视频评论理解、直播情感监控等任务。
- 可控读出对比可作为模型诊断工具：固定骨干、数据和适配方案，只改变读出方式，能定量评估生成式解码的额外误差和不可靠性，类似思路可用于推荐系统中LLM输出评分/理由时选择最优读出策略。
- 音频预处理合理提点：用轻量去噪（如DeepFilterNet）清理音频通道，可改善细粒度回归指标，这在金融举报音频、客服录音等场景下值得尝试。